Shakuhachi phát xuất từ tiêu của Trung Quốc và vào thế ký thứ 8 được đưa vào Nhật Bản cùng với nhạc Trung Quốc trình diễn trong triều đình Nhã nhạc Nhật Bản. Nhưng vì kích thước nhỏ và âm thanh yếu nên dần dần không còn được ưa chuộng trong giàn nhạc. Đến thế kỷ thứ 17 thì nó được các nhà tu Phật giáo tấu cho các tăng lữ tụng niệm[1].
Khác biệt chính giữa Shakuhachi của Nhật Bản và tiêu của Trung Quốc là ở lỗ thổi (shakuhachi miệng thổi rộng, trong khi xiao chỉ có một lỗ thổi nhỏ thường hình bán nguyệt), và lỗ bấm (shakuhachi có 5 lỗ, trong khi tiêu có 6 tới 8 lỗ). Những người mà chơi cả hai nhạc cụ cho là shakuhachi khó điều khiển hơn là tiêu, đòi hỏi người chơi phải học thành thục từ bước thổi căn bản.

.

Đôi khi, shakuhachi thường đệm với đàn tranh koto trong những ca khúc truyền thống của Nhật. Ca sĩ Nagasu Tomoka (長須 与佳) (sinh ngày 22 tháng 12 năm 1978), thành viên ban nhạc Rin' là người chơi shakuhachi nổi tiếng xứ mặt trời mọc.